In this paper, we propose a robust 3D detector, named Cross Modal Transformer (CMT), for end-to-end 3D multi-modal detection. Without explicit view transformation, CMT takes the image and point clouds tokens as inputs and directly outputs accurate 3D bounding boxes. The spatial alignment of multi-modal tokens is performed implicitly, by encoding the 3D points into multi-modal features. The core design of CMT is quite simple while its performance is impressive. CMT obtains 73.0% NDS on nuScenes benchmark. Moreover, CMT has a strong robustness even if the LiDAR is missing. Code will be released at https://github.com/junjie18/CMT.
translated by 谷歌翻译
Natural Language Processing (NLP) has been revolutionized by the use of Pre-trained Language Models (PLMs) such as BERT. Despite setting new records in nearly every NLP task, PLMs still face a number of challenges including poor interpretability, weak reasoning capability, and the need for a lot of expensive annotated data when applied to downstream tasks. By integrating external knowledge into PLMs, \textit{\underline{K}nowledge-\underline{E}nhanced \underline{P}re-trained \underline{L}anguage \underline{M}odels} (KEPLMs) have the potential to overcome the above-mentioned limitations. In this paper, we examine KEPLMs systematically through a series of studies. Specifically, we outline the common types and different formats of knowledge to be integrated into KEPLMs, detail the existing methods for building and evaluating KEPLMS, present the applications of KEPLMs in downstream tasks, and discuss the future research directions. Researchers will benefit from this survey by gaining a quick and comprehensive overview of the latest developments in this field.
translated by 谷歌翻译
We conduct a systematic study of backdoor vulnerabilities in normally trained Deep Learning models. They are as dangerous as backdoors injected by data poisoning because both can be equally exploited. We leverage 20 different types of injected backdoor attacks in the literature as the guidance and study their correspondences in normally trained models, which we call natural backdoor vulnerabilities. We find that natural backdoors are widely existing, with most injected backdoor attacks having natural correspondences. We categorize these natural backdoors and propose a general detection framework. It finds 315 natural backdoors in the 56 normally trained models downloaded from the Internet, covering all the different categories, while existing scanners designed for injected backdoors can at most detect 65 backdoors. We also study the root causes and defense of natural backdoors.
translated by 谷歌翻译
作为最成功的AI驱动应用程序之一，推荐系统的目的是通过在我们生活的许多方面提供个性化建议，以有效而有效的方式帮助人们做出适当的决定，尤其是针对各种面向人类的在线服务，例如E-商务平台和社交媒体网站。在过去的几十年中，推荐系统的快速发展通过创造经济价值，节省时间和精力以及促进社会利益，从而使人类受益匪浅。但是，最近的研究发现，数据驱动的推荐系统可能会对用户和社会构成严重威胁，例如传播虚假新闻以操纵社交媒体网站中的公众舆论，扩大不公平为代表性不足的团体或在工作匹配服务中的个人，或从建议结果中推断隐私信息。因此，系统的可信赖性一直吸引着各个方面的关注，以减轻推荐系统引起的负面影响，以增强公众对推荐系统技术的信任。在这项调查中，我们提供了可信赖的推荐系统（TREC）的全面概述，特别关注六个最重要的方面；即安全与鲁棒性，非歧视与公平，解释性，隐私，环境福祉以及问责制和可审计性。对于每个方面，我们总结了最近的相关技术，并讨论了潜在的研究方向，以帮助未来实现值得信赖的推荐系统。
translated by 谷歌翻译
放映摄像头（UDC）已被广泛利用，以帮助智能手机实现全屏显示。但是，由于屏幕不可避免地会影响光传播过程，因此UDC系统捕获的图像通常包含耀斑，雾霾，模糊和噪声。特别是，UDC图像中的耀斑和模糊可能会严重恶化高动态范围（HDR）场景的用户体验。在本文中，我们提出了一个新的深层模型，即UDC-UNET，以解决HDR场景中已知点扩展功能（PSF）的UDC图像恢复问题。在已知UDC系统的点扩散函数（PSF）的前提下，我们将UDC图像恢复视为非盲图像恢复问题，并提出了一种基于学习的新方法。我们的网络由三个部分组成，包括使用多尺度信息的U形基础网络，一个条件分支以执行空间变体调制以及一个内核分支，以提供给定PSF的先验知识。根据HDR数据的特征，我们还设计了音调映射损失，以稳定网络优化并获得更好的视觉质量。实验结果表明，所提出的UDC-UNET在定量和定性比较方面优于最新方法。我们的方法赢得了MIPI Challenge的UDC图像修复轨道的第二名。代码将公开可用。
translated by 谷歌翻译
准确注释的图像数据集是研究动物行为的重要组成部分。与我们知道并且可能存在的物种数量相比，现有的标记姿势数据集仅覆盖其中的一小部分，而构建全面的大规模数据集则非常昂贵。在这里，我们提出了一种非常数据有效的策略，该策略针对四足动物的姿势估计，该策略仅需要少量来自目标动物的真实图像。可以证实，在诸如ImageNet之类的通用图像数据集上具有预计权重的骨干网络可以减轻对目标动物姿势数据的高需求，并通过了解对物体细分和关键点估计的先验知识来缩短训练时间。但是，当面对严重的数据稀缺性（即$ <10^2 $真实图像）时，模型性能保持不令人满意，尤其是对于具有相当灵活性和几个可比零件的四肢而言。因此，我们引入了一种称为Pasyn的先前感知的合成动物数据生成管道，以增强动物姿势数据对可靠的姿势估计所必需的数据。 Pasyn通过在几种动画3D动物模型上训练变异生成模型，生成概率 - valid合成姿势数据集，突触。此外，样式转移策略被用来将合成动物形象融合到真实背景中。我们通过三个流行的骨干网络评估了方法的改进，并测试了其姿势估计的准确性，并在动物园中从真实动物中收集的公共动物姿势图像以及从真实的动物中收集的姿势估计准确性。
translated by 谷歌翻译
低光视频增强（LLVE）是许多应用程序，例如拍摄和自动驾驶，是一项重要但艰巨的任务。与单图像低光增强不同，大多数LLVE方法都利用相邻帧的时间信息来恢复颜色并删除目标框架的噪声。但是，这些算法基于多帧对齐和增强的框架，在遇到极端低光或快速运动时可能会产生多帧融合工件。在本文中，受到低潜伏期和高动态事件范围的启发，我们使用来自多个帧的合成事件来指导低光视频的增强和恢复。我们的方法包含三个阶段：1）事件合成和增强，2）事件和图像融合，以及3）低光增强。在此框架中，我们分别为第二阶段和第三阶段设计了两个新型模块（事件图像融合变换和事件引导的双分支）。广泛的实验表明，我们的方法在合成数据集和真实LLVE数据集上都优于现有的低光视频或单个图像增强方法。
translated by 谷歌翻译
深度学习大大提高了单眼深度估计（MDE）的性能，这是完全基于视觉的自主驾驶（AD）系统（例如特斯拉和丰田）的关键组成部分。在这项工作中，我们对基于学习的MDE产生了攻击。特别是，我们使用基于优化的方法系统地生成隐形的物理对象贴片来攻击深度估计。我们通过面向对象的对抗设计，敏感的区域定位和自然风格的伪装来平衡攻击的隐身和有效性。使用现实世界的驾驶场景，我们评估了对并发MDE模型的攻击和AD的代表下游任务（即3D对象检测）。实验结果表明，我们的方法可以为不同的目标对象和模型生成隐形，有效和健壮的对抗贴片，并在物体检测中以1/1/的斑点检测到超过6米的平均深度估计误差和93％的攻击成功率（ASR）车辆后部9个。具有实际车辆的三个不同驾驶路线上的现场测试表明，在连续视频帧中，我们导致超过6米的平均深度估计误差，并将对象检测率从90.70％降低到5.16％。
translated by 谷歌翻译
2D CNN和视觉变压器（VIT）的最新进展表明，大型内核对于足够的接受场和高性能至关重要。受这些文献的启发，我们研究了3D大型设计的可行性和挑战。我们证明，在3D CNN中应用大型卷积内核在性能和效率方面都有更多困难。在2D CNN中运行良好的现有技术在3D网络中无效，包括流行的深度卷积。为了克服这些障碍，我们介绍了空间团体卷积及其大内核模块（SW-LK块）。它避免了幼稚3D大核的优化和效率问题。我们的大型内核3D CNN网络，即grounkernel3d，对各种3D任务（包括语义分割和对象检测）产生了非平凡的改进。值得注意的是，它在ScannETV2语义细分和72.8％的NDS NUSCENES对象检测基准上获得了73.9％的MIOU，在Nuscenes Lidar Leadar排行榜上排名第一。具有简单的多模式融合，将其进一步提高到74.2％NDS。与其CNN和Transformer对应物相比，bamekernel3d获得了可比或优越的结果。我们第一次表明，大型内核是可行的，对于3D网络至关重要。
translated by 谷歌翻译
普遍的后门是由动态和普遍的输入扰动触发的。它们可以被攻击者故意注射，也可以自然存在于经过正常训练的模型中。它们的性质与传统的静态和局部后门不同，可以通过扰动带有一些固定图案的小输入区域来触发，例如带有纯色的贴片。现有的防御技术对于传统后门非常有效。但是，它们可能对普遍的后门无法正常工作，尤其是在后门去除和模型硬化方面。在本文中，我们提出了一种针对普遍的后门，包括天然和注射后门的新型模型硬化技术。我们基于通过特殊转换层增强的编码器架构来开发一般的普遍攻击。该攻击可以对现有的普遍后门攻击进行建模，并通过类距离进行量化。因此，使用我们在对抗训练中攻击的样品可以使模型与这些后门漏洞相比。我们对9个具有15个模型结构的9个数据集的评估表明，我们的技术可以平均扩大阶级距离59.65％，精度降解且没有稳健性损失，超过了五种硬化技术，例如对抗性训练，普遍的对抗训练，Moth，Moth等， 。它可以将六次普遍后门攻击的攻击成功率从99.06％降低到1.94％，超过七种最先进的后门拆除技术。
translated by 谷歌翻译